Econometria Aplicada à Finanças

Mestrado Profissional em Administração

Prof. Washington Santos da Silva

IFMG - Campus Formiga

27 de agosto de 2024

Na Aula de Hoje

Tópicos

  • Modelo de Regressão Linear Múltipla

Modelo de Regressão Linear Múltipla

Mais variáveis explicativas

Estamos mudando da regressão linear simples: uma variável resposta
e uma variável explicativa :

\[ \color{#e64173}{y_t} = \beta_0 + \beta_1 \color{#6A5ACD}{x_t} + u_t \,\, (t = 1, 2, \ldots, T) \]

para a terra da regressão linear múltipla: uma variável resposta
e diversas variáveis explicativas :

\[ \color{#FF0000}{y_i} = \beta_1 + \beta_2 \color{#800080}{x_{2i}} + \beta_3 \color{#800080}{x_{3t}} + \cdots + \beta_k \color{#800080}{x_{kt}} + u_t \,\, (t = 1, 2, \ldots, T) \]

Por quê?

Podemos, potencialmente:

  • evitar o viés de variável omitida;
  • explicar melhor a variação em \(y\);
  • melhorar as previsões;

Modelo de Regressão Linear Múltipla -

Forma Matricial

\[ \underset{(T \times 1)}{\mathbf{y}} = \underset{(T \times k)}{\mathbf{X}} \underset{(k \times 1)}{\boldsymbol{\beta}} + \underset{(T \times 1)}{\boldsymbol{\epsilon}} \]

\[ \begin{pmatrix} y_1 \\ y_2 \\ \vdots \\ y_T \end{pmatrix} = \begin{pmatrix} 1 & x_{21} & \dots & x_{k1} \\ 1 & x_{22} & \dots & x_{k2} \\ \vdots & \vdots & \vdots & \vdots \\ 1 & x_{2n} & \dots & x_{kT} \end{pmatrix} \begin{pmatrix} \beta_1 \\ \beta_2 \\ \vdots \\ \beta_{k} \end{pmatrix} + \begin{pmatrix} \epsilon_1 \\ \epsilon_2 \\ \vdots \\ \epsilon_n \end{pmatrix} \]

Regressão e Esperança Condicional

Relação

A regressão linear múltipla pode ser vista como uma estimativa do valor esperado condicional da variável dependente dado um conjunto de variáveis explicativas.

O valor esperado condicional de \(y\) dado \(\mathbf{X}\) é definido como:

\[ \mathbb{E}[y \mid \mathbf{X}] = \mathbb{E}[\mathbf{X}\boldsymbol{\beta} + \epsilon \mid \mathbf{X}] \]

Substituindo \(y = \mathbf{X}\boldsymbol{\beta} + \epsilon\), temos:

\[ \mathbb{E}[y \mid \mathbf{X}] = \mathbb{E}[\mathbf{X}\boldsymbol{\beta} \mid \mathbf{X}] + \mathbb{E}[\epsilon \mid \mathbf{X}] \]

Como \(\mathbf{X}\boldsymbol{\beta}\) é determinístico dado \(\mathbf{X}\), segue que:

\[ \mathbb{E}[\mathbf{X}\boldsymbol{\beta} \mid \mathbf{X}] = \mathbf{X}\boldsymbol{\beta} \]

Além disso, pela suposição de que \(\mathbb{E}[\epsilon \mid \mathbf{X}] = 0\), temos:

\[ \mathbb{E}[y \mid \mathbf{X}] = \mathbf{X}\boldsymbol{\beta} + 0 \]

Portanto:

\[ \mathbb{E}[y \mid \mathbf{X}] = \hat{y} = \mathbf{X}\boldsymbol{\hat{\beta}} \]

Isso significa que o modelo de regressão linear múltipla estima diretamente o valor esperado condicional (ou a média condicional) de \(y\) dado \(\mathbf{X}\).

Regressão e Esperança Condicional

Modelo de Regressão Linear Múltipla

Hipóteses

Hipótese Interpretação
H1. \(E(\epsilon_i|X_i) = 0\) erros tem média 0
H2. \(V(\epsilon_i|X_i) = \sigma^2 < \infty\) variância finita e constante
H3. \(Cov(\epsilon_i,x_i|X_i) = 0\) Não há correlação entre \(\epsilon_i\) e \(x_i\)
H4. \(Cov(\epsilon_i,\epsilon_i|X_i) = 0\) erros não são linearmente correlacionados
H5: \(\epsilon_i|X_i \sim N(0,\sigma^2)\) erros tem distribuição aprox. normal.

Propriedades dos Estimadores de MQO

Hipóteses e Propriedades

  • H1, H2, H3 e H4

    • Garantem que os estimadores de MQO são os melhores estimadores lineares não viesados, segundo o Teorema de Gauss-Markov.
  • H5

    • Necessária para fazermos inferências (testes de hipóteses, intervalos de confiança, intervalos de previsão) sobre os parâmetros do modelo
      \((\beta_0,\beta_1,\ldots,\beta_p)\)

Propriedades dos Estimadores de MQO

Propriedades

  • Consistentes

    • Os estimadores de MQO (\(\hat{\beta}\)) são consistentes. Ou seja, as estimativas convergirão para seus valores verdadeiros (populaciconais) à medida que o tamanho da amostra aumenta.
  • Não-Viesados

    • Os estimadores de (\(\hat{\beta}\)) são não-viesados. Isto é, \(E(\hat{\beta}) = \beta\). Assim, em média, o valor estimado será igual aos valores verdadeiros.
  • Eficientes

    • Um estimador \(\hat{\beta}\) de um parâmetro populacional \(\beta\) é eficiente, se é não-viesado e nenhum outro estimador não-viesado tem variância inferior.

Estimadores de MQO dos Parâmetros

Esboço da Derivação

Modelo de regressão múltipla na forma matricial:

\[ y = X\beta + \epsilon \] sendo:

  • \(\mathbf{y}\) um vetor de dimensão \(n \times 1\);
  • \(\mathbf{X}\) a matriz de variáveis explicativas de dimensão \(n \times k\) (com uma coluna de 1’s para o intercepto);
  • \(\boldsymbol{\beta}\) o vetor de parâmetros a serem estimados de dimensão \(k \times 1\);
  • \(\boldsymbol{\epsilon}\) é o vetor de erros aleatórios de dimensão \(n \times 1\).

Novamente, devemos minimizar a soma dos quadrados dos resíduos:

\[ \min_{\boldsymbol{\beta}} \boldsymbol{\epsilon}'\boldsymbol{\epsilon} \]

Substituindo \(\boldsymbol{\epsilon} = \mathbf{y} - \mathbf{X}\boldsymbol{\beta}\):

\[ \boldsymbol{\epsilon}'\boldsymbol{\epsilon} = (\mathbf{y} - \mathbf{X}\boldsymbol{\beta})'(\mathbf{y} - \mathbf{X}\boldsymbol{\beta}) \]

Expandindo o produto:

\[ \boldsymbol{\epsilon}'\boldsymbol{\epsilon} = \mathbf{y}'\mathbf{y} - \mathbf{y}'\mathbf{X}\boldsymbol{\beta} - \boldsymbol{\beta}'\mathbf{X}'\mathbf{y} + \boldsymbol{\beta}'\mathbf{X}'\mathbf{X}\boldsymbol{\beta} \]

Podemos reescrever essa expressão como:

\[ \boldsymbol{\epsilon}'\boldsymbol{\epsilon} = \mathbf{y}'\mathbf{y} - 2\mathbf{y}'\mathbf{X}\boldsymbol{\beta} + \boldsymbol{\beta}'\mathbf{X}'\mathbf{X}\boldsymbol{\beta} \]

Para encontrar o vetor de estimadores \(\hat{\boldsymbol{\beta}}\), tomamos a derivada de \(S(\boldsymbol{\beta})\) em relação a \(\boldsymbol{\beta}\) e igualamos a zero:

\[ \frac{\partial (\boldsymbol{\epsilon}'\boldsymbol{\epsilon})}{\partial \boldsymbol{\beta}} = -2\mathbf{X}'\mathbf{y} + 2\mathbf{X}'\mathbf{X}\boldsymbol{\beta} = 0 \]

Simplificando, obtemos:

\[ \mathbf{X}'\mathbf{X}\boldsymbol{\beta} = \mathbf{X}'\mathbf{y} \]

Assumindo que \(\mathbf{X}'\mathbf{X}\) é não singular (invertível), podemos resolver para \(\boldsymbol{\beta}\):

\[ \hat{\boldsymbol{\beta}} = (\mathbf{X}'\mathbf{X})^{-1}\mathbf{X}'\mathbf{y} \]

Assim, a expressão matricial dos estimadores de MQO dos parâmetros do modelo de regressão múltipla é:

\[ \boxed{\hat{\boldsymbol{\beta}} = (\mathbf{X}'\mathbf{X})^{-1}\mathbf{X}'\mathbf{y}} \]

Melhor Plano de Ajuste

Estimador da Variância dos Resíduos

Esboço da Derivação

Modelo de regressão múltipla na forma matricial:

\[ y = X\beta + \epsilon \]

sendo:

  • \(\mathbf{y}\) um vetor de dimensão \(n \times 1\);
  • \(\mathbf{X}\) a matriz de variáveis explicativas de dimensão \(n \times k\) (com uma coluna de 1’s para o intercepto);
  • \(\boldsymbol{\beta}\) o vetor de parâmetros a serem estimados de dimensão \(k \times 1\);
  • \(\boldsymbol{\epsilon}\) é o vetor de erros aleatórios de dimensão \(n \times 1\).

Após estimar os coeficientes \(\hat{\boldsymbol{\beta}}\) usando MQO, o vetor de resíduos \(\hat{\boldsymbol{\epsilon}}\) é dado por:

\[ \hat{\boldsymbol{\epsilon}} = \mathbf{y} - \mathbf{X}\hat{\boldsymbol{\beta}} \]

Substituindo a expressão para \(\hat{\boldsymbol{\beta}}\):

\[ \hat{\boldsymbol{\epsilon}} = \mathbf{y} - \mathbf{X}(\mathbf{X}'\mathbf{X})^{-1}\mathbf{X}'\mathbf{y} \]

Podemos reescrever a expressão para os resíduos como:

\[ \hat{\boldsymbol{\epsilon}} = \left(\mathbf{I} - \mathbf{H}\right)\mathbf{y} \]

sendo \(\mathbf{H} = \mathbf{X}(\mathbf{X}'\mathbf{X})^{-1}\mathbf{X}'\) a matriz de projeção, também conhecida como matriz “hat”.

A variância dos resíduos \(\sigma^2\) é estimada pela soma dos quadrados dos resíduos dividida pelos graus de liberdade:

\[ \boxed{\hat{\sigma}^2 = \frac{\hat{\boldsymbol{\epsilon}}'\hat{\boldsymbol{\epsilon}}}{n - k}} \]

Substituindo a expressão para os resíduos:

\[ \boxed{\hat{\sigma}^2 = \frac{\left(\mathbf{y} - \mathbf{X}\hat{\boldsymbol{\beta}}\right)'\left(\mathbf{y} - \mathbf{X}\hat{\boldsymbol{\beta}}\right)}{n - k}} \]

Utilizando a expressão matricial dos resíduos:

\[ \hat{\sigma}^2 = \frac{\mathbf{y}'\left(\mathbf{I} - \mathbf{H}\right)\mathbf{y}}{n - k} \]

\(\mathbf{y}'\left(\mathbf{I} - \mathbf{H}\right)\mathbf{y}\) representa a soma dos quadrados dos resíduos (SSR), e \(n - k\) representa os graus de liberdade do modelo, onde \(n\) é o número de observações e \(k\) é o número de parâmetros estimados (incluindo o intercepto).

Assim, o estimador da variância dos resíduos é dado por:

\[ \hat{\sigma}^2 = \frac{SSR}{n - k} = \frac{\mathbf{y}'\left(\mathbf{I} - \mathbf{H}\right)\mathbf{y}}{n - k} \]

Estimador da Matriz de Variâncias-Covariâncias

Esboço da Derivação

Consideremos novamente o modelo de regressão linear múltipla:

\[ \mathbf{y} = \mathbf{X}\boldsymbol{\beta} + \boldsymbol{\epsilon} \]

O estimador de Mínimos Quadrados Ordinários (MQO) dos parâmetros \(\boldsymbol{\beta}\) é dado por:

\[ \hat{\boldsymbol{\beta}} = (\mathbf{X}'\mathbf{X})^{-1}\mathbf{X}'\mathbf{y} \]

Assumindo que os erros \(\boldsymbol{\epsilon}\) têm esperança zero e variância constante (homocedasticidade):

\[ \mathbb{E}[\boldsymbol{\epsilon}] = \mathbf{0}, \quad \text{Var}(\boldsymbol{\epsilon}) = \sigma^2 \mathbf{I} \]

A matriz de variâncias-covariâncias dos estimadores \(\hat{\boldsymbol{\beta}}\) é dada por:

\[ \text{Var}(\hat{\boldsymbol{\beta}}) = \text{Var}\left((\mathbf{X}'\mathbf{X})^{-1}\mathbf{X}'\mathbf{y}\right) \]

Substituindo \(\mathbf{y} = \mathbf{X}\boldsymbol{\beta} + \boldsymbol{\epsilon}\):

\[ \text{Var}(\hat{\boldsymbol{\beta}}) = \text{Var}\left((\mathbf{X}'\mathbf{X})^{-1}\mathbf{X}'(\mathbf{X}\boldsymbol{\beta} + \boldsymbol{\epsilon})\right) \]

Como \(\mathbf{X}\boldsymbol{\beta}\) é determinístico, temos:

\[ \text{Var}(\hat{\boldsymbol{\beta}}) = \text{Var}\left((\mathbf{X}'\mathbf{X})^{-1}\mathbf{X}'\boldsymbol{\epsilon}\right) \]

Utilizando a propriedade da variância de uma matriz vezes um vetor aleatório:

\[ \text{Var}(\hat{\boldsymbol{\beta}}) = (\mathbf{X}'\mathbf{X})^{-1}\mathbf{X}' \text{Var}(\boldsymbol{\epsilon}) \mathbf{X} (\mathbf{X}'\mathbf{X})^{-1} \]

Substituindo \(\text{Var}(\boldsymbol{\epsilon}) = \hat{\sigma^2} \mathbf{I}\), obtemos:

\[ \boxed{\text{Var}(\hat{\boldsymbol{\beta}}) = \hat{\sigma^2} (\mathbf{X}'\mathbf{X})^{-1}} \]

Portanto, o estimador da matriz de variâncias-covariâncias é:

\[ V(\hat{\beta}) = \hat{\sigma}^2 (X'X)^{-1} = \hat{\sigma}^2 \begin{bmatrix} V(\hat{\beta_0}) & & \\ COV(\hat{\beta_0},\hat{\beta_1}) & V(\hat{\beta_1}) & \\ COV(\hat{\beta_0},\hat{\beta_2}) & COV(\hat{\beta_1},\hat{\beta_2}) & V(\hat{\beta_2}) \end{bmatrix} \]

E o estimador do erro-padrão dos parâmetros é:

\[ \boxed{EP(\hat{\beta}) = \sqrt{V(\hat{\beta})}} \]

  • Estas estimativas dos erros padrão dos parâmetros são usadas para calcular estimativas por intervalos de confiança dos parâmetros e para executar os testes de hipóteses.

Exemplo 4.1 - Brooks (2019, p. 214)

Estimadores de MQO dos Parâmetros (\(\hat{\beta}\))

\[ \hat{\beta} = (X'X)^{-1}X'y \]

# cria as matrizes fornecidas
inversa_Xtransp_X <- matrix(
  c(2.0, 3.5, -1.0, 
    3.5, 1.0, 6.5, 
    -1.0, 6.5, 4.3),
  nrow = 3,
  ncol = 3,
  byrow = TRUE
)

inversa_Xtransp_X 
     [,1] [,2] [,3]
[1,]  2.0  3.5 -1.0
[2,]  3.5  1.0  6.5
[3,] -1.0  6.5  4.3
X_transp_y <- matrix(c(-3.0, 2.2, 0.6), ncol = 1)
X_transp_y 
     [,1]
[1,] -3.0
[2,]  2.2
[3,]  0.6
# calcula as estimativas dos parâmetros 
beta_hat <- inversa_Xtransp_X %*% X_transp_y
beta_hat
      [,1]
[1,]  1.10
[2,] -4.40
[3,] 19.88

Exemplo 4.1 - Brooks (2019, p. 214)

Estimativa da Variância dos Resíduos (\(\hat{\sigma^2}\))

\[ \hat{\sigma}^2 = \frac{\hat{\epsilon}'\hat{\epsilon}}{n - k} = \frac{RSS}{n-k} \]

# define a soma dos quadrados dos resíduos (RSS) fornecida
rss <- 10.96

# Define o número de observações (n) e o número de parâmetros (k, incluindo 
# o intercepto)
n <- 15  
k <- 3  

# Calcula a variância dos resíduos
variancia_residuos <- rss / (n - k)
variancia_residuos
[1] 0.9133333

Exemplo 4.1 - Brooks (2019, p. 214)

Estimativa da Matriz de Variâncias-Covariâncias de \(\hat{\beta}\)

\[ \hat{\text{Var}}(\hat{\beta}) = \hat{\sigma}^2 (X'X)^{-1} \]

# Definir a matriz (X'X)^{-1} fornecida
inversa_Xtransp_X <- matrix(c(2.0, 3.5, -1.0,
                              3.5, 1.0, 6.5,
                              -1.0, 6.5, 4.3), 
                            nrow = 3, ncol = 3, byrow = TRUE)

# Calcular a matriz de variâncias-covariâncias dos parâmetros
matriz_var_cov <- variancia_residuos * inversa_Xtransp_X

# Exibir a matriz de variâncias-covariâncias
round(matriz_var_cov, 2)
      [,1] [,2]  [,3]
[1,]  1.83 3.20 -0.91
[2,]  3.20 0.91  5.94
[3,] -0.91 5.94  3.93

Exemplo 4.1 - Brooks (2019, p. 214)

Erros Padrão dos Parâmetros

\[ \begin{aligned} V(\hat{\beta_1}) & = 1.83 \rightarrow EP(\hat{\beta_1}) = 1.35 \\ V(\hat{\beta_2}) & = 0.91 \rightarrow EP(\hat{\beta_2}) = 0.95 \\ V(\hat{\beta_3}) & = 3.93 \rightarrow EP(\hat{\beta_3}) = 1.98 \end{aligned} \] Portanto, podemos escrever o modelo estimado como:

\[ \hat{y} = \underset{(1.35)}{1.10} - \underset{(0.95)}{4.40} \, x_1 + \underset{(1.98)}{19.88} \, x_2 \]

Entendo o Resultado da Estimação do Modelo de Regressão Linear Múltipla em R

Resultado da Estimação de Modelo de Regressão em R

Testes de Hipóteses/Significância

Teste F

Teste F: Testa se todas as estimativas dos parâmetros são iguais a zero.

\[ \begin{align*} H_0:\,\, & \beta_0 = \beta_1 = \ldots = \beta_k = 0 \\ H_A:\,\, & \text{Pelo menos um} \,\, \beta_k \neq 0 \\ F &= \Biggl(\frac{SQ_{total} - SQ_{residuo}}{SQ_{residuo}}\Biggr) \frac{n - k}{k - 1} \sim F_{(q,n-(k+1))} \end{align*} \]

  • Se valor-p \(<\) 0.05 -> Pelo menos uma estimativa de um parâmetro é estatisticamente diferente de zero

  • Se valor-p \(>\) 0.05 -> Nenhuma estimativa de parâmetro é estatisticamente diferente de zero

  • O teste \(F\) é um instrumento para avaliar a significância global do modelo.

Testes de Hipóteses/Significância

Teste t

  • Teste t: Testa se cada estimativa é diferentes de zero:

\[ \begin{align*} H_0:\,\, & \beta_p = 0 \\ H_A:\,\, & \beta_p \neq 0 \\ t & = \frac{\hat{\beta} - 0}{EP(\hat{\beta})} \sim t_{(n-p,\alpha)} \end{align*} \]

  • Usando um software estatístico, é fácil calcular a probabilidade de observar um valor igual o maior que \(|t|\), ou seja, o valor-p.

  • Se valor-p \(<\) 0.05 -> A estimativa é estatisticamente diferente de zero.

  • Se valor-p \(>\) 0.05 -> A estimativa não é estatisticamente diferente de zero.

Medida da Qualidade do Ajuste

\(R^2\) = coeficiente de determinação

  • Medidas da qualidade de ajuste tentam analisar o quão bem nosso modelo descreve (se ajusta) aos dados.

  • Medida comum: \(R^2\) [R-quadrado] (também conhecido como coeficiente de determinação)

\[ R^2 = \dfrac{\sum_i (\hat{y}_i - \overline{y})^2}{\sum_i \left( y_i - \overline{y} \right)^2} = 1 - \dfrac{\sum_i \left( y_i - \hat{y}_i \right)^2}{\sum_i \left( y_i - \overline{y} \right)^2} \]

  • Observe nossa velha amiga RSS: \(\sum_i \left( y_i - \hat{y}_i \right)^2 = \sum_i e_i^2 = \epsilon'\epsilon\).

  • \(R^2\) literalmente nos diz a parcela da variância em \(y\) que nossos modelos atuais consideram. Assim, \(0 \leq R^2 \leq 1\) (100%).

  • Problema: À medida que adicionamos variáveis ao modelo, \(R^2\) aumenta mecanicamente.

Medida da Qualidade do Ajuste

\(R^2\)-adj = coeficiente de determinação ajustado

  • Solução: O \(R^2\)-ajustado penaliza o número de variáveis no modelo.

\[ \overline{R}^2 = 1 - \dfrac{\sum_i \left( y_i - \hat{y}_i \right)^2/(n-k-1)}{\sum_i \left( y_i - \overline{y} \right)^2/(n-1)} \]

  • Observação: o \(R^2\) ajustado não precisa estar entre 0 e 1.

Adicionar/Remover Variáveis

Tradeoffs

Há compensações a serem lembradas conforme adicionamos/removemos variáveis:

Menos variáveis:

  • Geralmente explicam menos variação em \(y\).
  • Fornecem interpretações e visualizações simples (parcimoniosas).
  • Pode ser necessário se preocupar com o viés de variável omitida.

Mais variáveis

  • Maior probabilidade de encontrar relacionamentos espúrios (estatisticamente significativos devido ao acaso — não refletem um relacionamento verdadeiro em nível populacional).
  • Mais difícil de interpretar o modelo.
  • Você ainda pode não incluir variáveis importantes — (viés de variável omitida).

Testando Múltiplas Hipóteses

Teste F

  • Usamos o teste\(-t\) para testar hipóteses únicas, ou seja, hipóteses envolvendo apenas um parâmetro. Mas e se quisermos testar mais de um parâmetro simultaneamente?

  • Fazemos isso usando o Teste\(-F\). O Teste\(-F\) envolve estimar 2 regressões:

    • Uma regressão irrestrita
    • Uma regressão restrita
  • Considere o seguinte modelo de regressão múltipla:

\[ Y_{i} = \beta_0 + \beta_1 X_{1} + \beta_2 X_{2} + \beta_3 X_{3} + \epsilon_{i} \]

  • E que desejamos testar \(H_0:\,\beta_2 + \beta_3 = 1\) ou \(H_0:\, \beta_2 = 1\)

Testando Múltiplas Hipóteses

Teste F

  • a regressão irrestrita é:

\[ Y_{i} = \beta_0 + \beta_1 X_{1} + \beta_2 X_{2} + \beta_3 X_{3} + \epsilon_{i} \] - a regressão restrita é:

\[ \begin{align*} Y_{i} &= \beta_0 + \beta_1 X_{1} + \beta_2 X_{2} + \beta_3 X_{3} + \epsilon_{i} \,\, sujeito\,\,a \quad (\beta_2 + \beta_3 = 1) \\ Y_{i} &= \beta_0 + \beta_1 X_{1} + \beta_2 X_{2} + (1-\beta_2) X_{3} + \epsilon_{i} \\ Y_{i} &= \beta_0 + \beta_1 X_{1} + \beta_2 X_{2} + X_{3} - \beta_2 X_{3} + \epsilon_{i} \\ Y_{i} - X_{3} &= \beta_0 + \beta_1 X_{1} + \beta_2 (X_{2} - X_{3}) + \epsilon_{i} \\ \end{align*} \]

Testando Múltiplas Hipóteses

Teste F

  • Estatística de Teste e Distribuição:

\[ F_{calc} = \Biggl(\frac{SQR_{restrito} - SQR_{irrestrito}}{SQR_{irrestrito}}\Biggr) \frac{n - k}{m} \sim F_{(m,n-k)} \]

  • sendo: \(n=\) n. de observações, \(k=\) número de preditores na regressão irrestrita e $m = $ número de restrições.

  • Rejetia-se \(H0\) contendo a restrição se \(F_{calc} > F_{(m,n-k)}\), ou de analisando-se o valor-p:

  • Se valor-p \(<\) 0.05 -> Os resultados fornecem evidência para
    rejeitar a \(H0\) contendo a restrição.

  • Se valor-p \(>\) 0.05 -> OS resultados fornecem evidência para não rejeitar a \(H0\) contendo a restrição.

Testando Múltiplas Hipóteses: Teste\(-F\)

Determinando o número de restrições em um teste\(-F\):

\(H_0\) : Hipóteses N. de Restrições (\(m\))
\(H_0:\,\beta_2 + \beta_3 = 1\) 1
\(H_0:\) \(\beta_2 = 1\) e \(\beta_3 = -1\) 2
\(H_0:\) \(\beta_1 = 0\), \(\beta_2 = 0\) e \(\beta_4 = 0\) 3

Interpretação das estimativas dos parâmetros

Variáveis Numéricas Contínuas

Interpretação

Considere o seguinte modelo de regressão linear simples:

\[ \text{Salário}_i = \beta_0 + \beta_1 \, \text{Escola}_i + u_i \]

sendo:

  • \(\text{Salário}_i\) uma variável contínua que mede o salário de um indivíduo.
  • \(\text{Educacao}_i\) uma variável contínua que medida em anos de educação formal.

Interpretações

  • \(\beta_0\): o intercepto-\(y\), i.e., \(\text{Salário}\) quando \(\text{Escola} = 0\).
  • \(\beta_1\): o aumento esperado em \(\text{Salário}\) para um aumento de uma unidade em \(\text{Educacao}\)

Variáveis Numéricas Contínuas

Interpretação

Derivando a interpretação de \(\beta_1\):

\[ \begin{aligned} \mathop{\boldsymbol{E}}\left[ \text{Salario} | \text{Educacao} = \ell + 1 \right] - \mathop{\boldsymbol{E}}\left[ \text{Salario} | \text{Educacao} = \ell \right] &= \\[0.5em] \mathop{\boldsymbol{E}}\left[ \beta_0 + \beta_1 (\ell + 1) + u \right] - \mathop{\boldsymbol{E}}\left[ \beta_0 + \beta_1 \ell + u \right] &= \\[0.5em] \left[ \beta_0 + \beta_1 (\ell + 1) \right] - \left[ \beta_0 + \beta_1 \ell \right] &= \\[0.5em] \beta_0 - \beta_0 + \beta_1 \ell - \beta_1 \ell + \beta_1 &= \beta_1 \end{aligned} \]

I.e., \(\beta_1\) fornece o aumento esperado na variável resposta para um aumento de uma unidade na variável explicativa.

Variáveis Numéricas Contínuas

Interpretação

Se tivermos múltiplas variáveis explicativas, por exemplo:

\[ \text{Salario}_i = \beta_0 + \beta_1 \, \text{Educacao}_i + \beta_2 \, \text{Habilidade}_i + u_i \]

então a interpretação muda um pouco:

\[ \begin{aligned} \mathop{\boldsymbol{E}}\left[ \text{Salario} | \text{Educacao} = \ell + 1 \land \text{Habilidade} = \alpha \right] - & \\ \mathop{\boldsymbol{E}}\left[ \text{Salario} | \text{Educacao} = \ell \land \text{Habilidade} = \alpha \right] &= \\ \mathop{\boldsymbol{E}}\left[ \beta_0 + \beta_1 (\ell + 1) + \beta_2 \alpha + u \right] - \mathop{\boldsymbol{E}}\left[ \beta_0 + \beta_1 \ell + \beta_2 \alpha + u \right] &= \\ \left[ \beta_0 + \beta_1 (\ell + 1) + \beta_2 \alpha \right] - \left[ \beta_0 + \beta_1 \ell + \beta_2 \alpha \right] &= \\ \beta_0 - \beta_0 + \beta_1 \ell - \beta_1 \ell + \beta_1 + \beta_2 \alpha - \beta_2 \alpha &= \beta_1 \end{aligned} \]

I.e., \(\beta_1\) fornece o aumento esperado na variável resposta para um aumento de uma unidade na variável explicativa, mantendo todas as outras variáveis constantes (ceteris paribus).

  • Derivação alternativa

Considere o modelo

\[ y = \beta_0 + \beta_1 \, x + u \]

Diferencie o modelo em relação a \(x\):

\[ \dfrac{dy}{dx} = \beta_1 \]

Variáveis Categóricas

Interpretação

Considere o modelo de regressão linear simples:

\[ \text{Salário}_i = \beta_0 + \beta_1 \, \text{Mulher}_i + u_i \]

sendo:

  • \(\text{Salário}_i\) uma variável contínua que mede o salário de um indivíduo.
  • \(\text{Mulher}_i\) uma variável binária igual a \(1\) quando \(i\) é mulher.

Interpretações:

  • \(\beta_0\): o \(\text{Salário}\) esperado para homens (i.e., quando \(\text{Mulher} = 0\)).
  • \(\beta_1\): a diferença esperada do \(\text{Salário}\) entre mulheres e homens.
  • \(\beta_0 + \beta_1\): o \(\text{Salário}\) esperado para mulheres.

Variáveis Categóricas

Interpretação

Derivação:

\[ \begin{aligned} \mathop{\boldsymbol{E}}\left[ \text{Salario} | \text{Homem} \right] &= \mathop{\boldsymbol{E}}\left[ \beta_0 + \beta_1\times 0 + u_i \right] \\ &= \mathop{\boldsymbol{E}}\left[ \beta_0 + 0 + u_i \right] \\ &= \beta_0 \end{aligned} \]

\[ \begin{aligned} \mathop{\boldsymbol{E}}\left[ \text{Salario} | \text{Mulher} \right] &= \mathop{\boldsymbol{E}}\left[ \beta_0 + \beta_1\times 1 + u_i \right] \\ &= \mathop{\boldsymbol{E}}\left[ \beta_0 + \beta_1 + u_i \right] \\ &= \beta_0 + \beta_1 \end{aligned} \]

Obs.:

  • Se não houver outras variáveis para condicionar, então \(\hat{\beta}_1\) é igual à diferença nas médias dos grupos, por exemplo, \(\overline{x}_\text{Mulher} - \overline{x}_\text{Homem}\).

  • A interpretação de manter todas as outras variáveis constantes também se aplica a variáveis categóricas em modelos de regressão múltipla.

Interações

Interpretação

As interações permitem que o efeito de uma variável mude com base no nível de outra variável.

Exemplos

  • O efeito da escolaridade no salário muda por gênero?

  • O efeito do gênero no salário muda por raça?

  • O efeito da escolaridade no salário muda por experiência?

Interações

Interpretação

  • Anteriormente, consideramos um modelo que permitia que mulheres e homens tivessem salários diferentes, mas o modelo assumia que o efeito da educação no salário era o mesmo para todos:

\[ \text{Salário}_i = \beta_0 + \beta_1 \, \text{Educacao}_i + \beta_2 \, \text{Mulher}_i + u_i \]

  • mas podemos permitir também que o efeito da educação varie por gênero:

\[ \text{Salário}_i = \beta_0 + \beta_1 \, \text{Educacao}_i + \beta_2 \, \text{Mulher}_i + \beta_3 \, \text{Educacao}_i\times\text{Mulher}_i + u_i \]

Interações

  • modelo onde a educacao tem o mesmo efeito para todos (Mulher e Homem):

Interações

  • modelo em que o efeito da educação pode diferir por gênero (Mulher e Homem):

Interações

Interpretação

Interpretar coeficientes pode ser um pouco complicado com interações, mas o segredo é trabalhar cuidadosamente a matemática:

\[ \text{Salário}_i = \beta_0 + \beta_1 \, \text{Educação}_i + \beta_2 \, \text{Mulher}_i + \beta_3 \, \text{Educação}_i\times\text{Mulher}_i + u_i \] Retornos esperados para um ano adicional de escolaridade para mulheres:

\[ \begin{aligned} \mathop{\boldsymbol{E}}\left[ \text{Salário}_i | \text{Mulher} \land \text{Educação} = \ell + 1 \right] - \mathop{\boldsymbol{E}}\left[ \text{Salário}_i | \text{Mulher} \land \text{Educação} = \ell \right] &= \\ \mathop{\boldsymbol{E}}\left[ \beta_0 + \beta_1 (\ell+1) + \beta_2 + \beta_3 (\ell + 1) + u_i \right] - \mathop{\boldsymbol{E}}\left[ \beta_0 + \beta_1 \ell + \beta_2 + \beta_3 \ell + u_i \right] &= \\ \beta_1 + \beta_3 \end{aligned} \]

  • De forma similar, \(\beta_1\) fornece o retorno esperado para um ano adicional de educação para homens.

  • Assim, \(\beta_3\) fornece a diferença nos retornos da educação para mulheres e homens.

Variáveis em Logaritmos

Transformação Logarítmica

  • Em diversos casos, podemos obter melhores modelos utilizando transformaçãoes das variáveis \(Y\) e/ou \(X\).

  • Por quê?

    • A primeira razão pode ser dar às variáveis propriedades estatísticas que funcionam melhor com a regressão. Por exemplo, podemos querer reduzir a assimetria.

    • A segunda razão para transformar uma variável é tentar obter uma relação linear entre as variáveis

    • A teoria que fundamenta o modelo sugere a transformação. Por exemplo, os diversos tipos de elasticidades definidos na teoria microeconômica tem uma clara relação com logaritmos.

  • Tomar Logaritmos, ou realizar a transformação logarítmica das variáveis, é uma das transformações mais utilizadas e comuns.

Variáveis em Logaritmos

Variáveis em Logaritmos

Caso Especificação Interpretação de \(\beta_1\)
I \(Y_i = \beta_0 + \beta_1 \ln(X_1) + \epsilon_i\) A variação de 1% em \(X\) está associada a
uma variação média de 0,01\(\beta_1\) em \(Y_i\)
II \(\ln(Y_i) = \beta_0 + \beta_1 X_1 + \epsilon_i\) A variação de 1 unidade em \(X\) está associada a
uma variação média de 100\(\beta_1\)% em \(Y_i\)
III \(\ln(Y_i) = \beta_0 + \beta_1 \ln(X_1) + \epsilon_i\) A variação de 1% em \(X\) está associada a
uma variação média de \(\beta_1\)% em \(Y_i\)

Outras Transformações

Possíveis Transformações

  • As seguintes transformações são alternativas a problemas com logaritmos. Em particular, temos que \(\log(0)\) é indefinido.

  • \(\log(x + 1)\): não recomendável.

  • \(\sqrt{x}\): transformação raíz quadrada. Reduz um pouco o peso dos outliers, mas não tão bem como logaritmos

  • \(\ln(x + \sqrt{x^2+1})\): função seno hiperbólica inversa. Reduz o peso dos outliers de forma similar aos logaritmos, sendo definida para zero (\(asinh(0) = 0\)). É a mais recomendada para dados com distribuição assimétrica e zeros.

Winsorizing

Descrição

  • Esta transformação não trata de assimetria ou linearização de um modelo, mas com outliers (valores extremos).

  • Winsorizing, especialmente popular em finanças, é o processo de tomar alguns dados e reduzir os extremos. Simplesmente tomamos todos os valores que estão longe o suficiente do centro e os reduzimoz em direção ao centro.

  • Para Winsorizar os top \(X\) % dos dados superiores, tomamos todas as observações acima do percentil \(p_i\) e as substituimos pelo percentil \(p_i\).

  • Por exemplo, se tivéssemos 100 observações de 1 a 100. Para Winsorizar os 5% dos ddados superiores e inferiores, mantemos as observações 6-95 e, em seguida, tomamos as observações 1, 2, 3, 4 e 5 e substituimoss por 6, e tomamos as observações 96, 97, 98, 99 e 100 oe substituimos por 95.

  • Este é um método força bruta para lidar com outliers, mas tende a funcionar. Deixa a maioria dos dados intocados, o que é bom se você acha que o verdadeiro relacionamento é realmente linear, mas não quer que seu modelo seja muito influenciado por valores discrepantes.

Tópicos Adicionais

Linearidade do Modelo

Linearidade

A suposição de linearidade requer

  1. parâmetros entram linearmente (i.e., os \(\beta_k\) multiplicados por variáveis explicativas).
  2. os erros (\(\epsilon_i\)) entram aditivamente.

Relações não lineares entre \(y\) e as variáveis explicativas podem ser modeladas de várias maneiras, incluindo:

Exemplos

  • Polinômios e interações: \(y_i = \beta_0 + \beta_1 x_1 + \beta_2 x_1^2 + \beta_3 x_2 + \beta_4 x_2^2 + \beta_5 \left( x_1 x_2 \right) + u_i\)

  • Exponenciais e logs: \(\log(y_i) = \beta_0 + \beta_1 x_1 + \beta_2 e^{x_2} + u_i\)

  • Indicadores e limiares: \(y_i = \beta_0 + \beta_1 x_1 + \beta_2 \, \mathbb{I}(x_1 \geq 100) + u_i\)

Outliers

Problema Potencial

Como o método dos MQO minimiza a soma dos erros quadrados, os outliers podem desempenhar um papel importante NAS estimativas.

Respostas comuns

  • Remova os outliers dos dados. Justifique.

  • Substitua os outliers pelo 99º percentil de sua variável (Windsorize). Força Bruta.

  • Tome o logaritmo da variável para “cuidar” dos outliers.

  • Não faça nada. Os outliers nem sempre são ruins. Algumas observações estão “longe” da média. Pode não fazer sentido tentar mudar essa variação.

Dados Faltantes

Problema Potencial

  • Da mesma forma, dados ausentes podem afetar seus resultados.

  • R não sabe como lidar com uma observação ausente.

1 + 2 + 3 + NA + 5
[1] NA
  • Se você executar uma regressão com valores ausentes, R remove as observações ausente.

  • Se as observações estiverem ausentes de forma não aleatória, uma amostra aleatória pode acabar não aleatória.

Aplicações do Modelo de Regressão Linear Simples

  • 02_regressao_simples.qmd contém as aplicações apresentadas em Brooks (2019).

Referências

BROOKS, C. Introductory Econometrics For Finance. 4th. ed. [s.l.] Cambridge University Press, 2019.